Harness-Delta Attribution: Dissecting Gains From Harness Evolution
Harness-Delta 归因：拆解 Agent Harness 进化的性能增益来源
🧭 Agent 评测与进化增益归因
Amazon · New York University
提出 HDA 协议，将 harness 进化增益归因为 overfitting、test-time scaling 与 residual 三类
📌 工作参考价值（4 点）
- 在做 Agent 搜索结果页策略、推荐链路 prompt/tool 搜索时，引入 HDA 式分解：对 search set 的 lift 拆成 artifact overfitting、inference compute scaling 与 residual；只报验证集不够。
- 必须设置 held-out tasks/跨类目流量做泛化验证；电商 query 推荐、广告文案生成等场景，benchmark 相似 query 的增益常不迁移到真实分布。
- 对加入多采样、投票、更多推理步数的方案，单独量化 test-time scaling 贡献，避免把“多算力带来的提升”误判为 harness 设计有效。
- 用 artifact-driven probes（如检测规则式捷径、重复输出短路）暴露过拟合；可在推荐 Agent 中设计反事实或干扰样例来检查泛化。